Con el rápido desarrollo de la tecnología de video, los videos se han convertido en una herramienta importante para la recuperación de información y la comprensión de conceptos complejos. Los videos combinan datos visuales, temporales y contextuales, proporcionando una representación multimodal que va más allá de las imágenes estáticas y el texto. Hoy en día, con la proliferación de plataformas para compartir videos y la abundancia de videos educativos e informativos, el uso de videos como fuente de conocimiento ofrece oportunidades sin precedentes para abordar consultas que requieren antecedentes detallados, comprensión espacial y demostraciones de procesos. Sin embargo, los sistemas existentes de generación mejorada de recuperación (RAG) a menudo pasan por alto todo el potencial de los datos de video. Estos sistemas suelen...

Twelve Labs ha desarrollado una innovadora tecnología de IA capaz de analizar y buscar contenido de video. Los usuarios pueden buscar contenido específico, como "¿Cuándo entra la persona con camisa roja al restaurante?", y también obtener resúmenes automáticos de clips de video. Esta tecnología ha atraído la atención de importantes inversores como Nvidia, Samsung e Intel. En comparación con las tecnologías existentes como Gemini de Google, la mayor ventaja de Twelve Labs es su alta capacidad de personalización; los clientes pueden entrenar el modelo con sus propios datos para adaptarse a sus necesidades específicas.

OpenAI lanzó recientemente su modelo de generación de video, Sora, pero los datos de entrenamiento del modelo podrían incluir una gran cantidad de contenido de videojuegos con derechos de autor, lo que genera preocupaciones sobre posibles problemas legales. Sora puede generar videos de hasta 20 segundos de duración a partir de indicaciones de texto o imágenes del usuario, y admite varios formatos de imagen y resoluciones. En su lanzamiento, OpenAI mencionó que los datos de entrenamiento de Sora incluían videos de Minecraft, lo que despertó la curiosidad sobre otros posibles contenidos de videojuegos utilizados. En las pruebas reales, Sora puede...

Recientemente, Visual China anunció una asociación estratégica con Beijing Shengshu Technology Co., Ltd. para explorar y construir conjuntamente una "plataforma y aplicaciones de modelos visuales para la industria". Esta colaboración tiene como objetivo profundizar la aplicación de la tecnología de inteligencia artificial en la industria del contenido visual e impulsar la modernización inteligente de la industria, con el fin de proporcionar servicios más eficientes e inteligentes a los creadores y usuarios de contenido visual en todo el mundo.

Recientemente, el equipo de Meta AI presentó LongVU, un novedoso mecanismo de compresión adaptable en espacio y tiempo diseñado para mejorar la capacidad de comprensión del lenguaje en videos largos. Los modelos de lenguaje grandes multimodales (MLLM) tradicionales enfrentan limitaciones en la longitud del contexto al procesar videos largos, y LongVU nace para solucionar este problema. El funcionamiento de LongVU se basa principalmente en métodos como el filtrado de fotogramas repetidos y la compresión de tokens entre fotogramas para utilizar eficientemente la longitud del contexto, lo que permite reducir el tamaño del video manteniendo los detalles visuales.